Learning continuous image representations is recently gaining popularity for image super-resolution (SR) because of its ability to reconstruct high-resolution images with arbitrary scales from low-resolution inputs. Existing methods mostly ensemble nearby features to predict the new pixel at any queried coordinate in the SR image. Such a local ensemble suffers from some limitations: i) it has no learnable parameters and it neglects the similarity of the visual features; ii) it has a limited receptive field and cannot ensemble relevant features in a large field which are important in an image; iii) it inherently has a gap with real camera imaging since it only depends on the coordinate. To address these issues, this paper proposes a continuous implicit attention-in-attention network, called CiaoSR. We explicitly design an implicit attention network to learn the ensemble weights for the nearby local features. Furthermore, we embed a scale-aware attention in this implicit attention network to exploit additional non-local information. Extensive experiments on benchmark datasets demonstrate CiaoSR significantly outperforms the existing single image super resolution (SISR) methods with the same backbone. In addition, the proposed method also achieves the state-of-the-art performance on the arbitrary-scale SR task. The effectiveness of the method is also demonstrated on the real-world SR setting. More importantly, CiaoSR can be flexibly integrated into any backbone to improve the SR performance.
translated by 谷歌翻译
The role of mobile cameras increased dramatically over the past few years, leading to more and more research in automatic image quality enhancement and RAW photo processing. In this Mobile AI challenge, the target was to develop an efficient end-to-end AI-based image signal processing (ISP) pipeline replacing the standard mobile ISPs that can run on modern smartphone GPUs using TensorFlow Lite. The participants were provided with a large-scale Fujifilm UltraISP dataset consisting of thousands of paired photos captured with a normal mobile camera sensor and a professional 102MP medium-format FujiFilm GFX100 camera. The runtime of the resulting models was evaluated on the Snapdragon's 8 Gen 1 GPU that provides excellent acceleration results for the majority of common deep learning ops. The proposed solutions are compatible with all recent mobile GPUs, being able to process Full HD photos in less than 20-50 milliseconds while achieving high fidelity results. A detailed description of all models developed in this challenge is provided in this paper.
translated by 谷歌翻译
近年来,由于SR数据集的开发和相应的实际SR方法,真实的图像超分辨率(SR)已取得了令人鼓舞的结果。相比之下,真实视频SR领域落后,尤其是对于真实的原始视频。考虑到原始图像SR优于SRGB图像SR,我们构建了一个真实世界的原始视频SR(Real-Rawvsr)数据集,并提出了相应的SR方法。我们利用两个DSLR摄像机和一个梁切口来同时捕获具有2倍,3倍和4倍大型的高分辨率(LR)和高分辨率(HR)原始视频。我们的数据集中有450对视频对,场景从室内到室外各不相同,包括相机和对象运动在内的动作。据我们所知,这是第一个现实世界的RAW VSR数据集。由于原始视频的特征是拜耳模式,因此我们提出了一个两分支网络,该网络既涉及包装的RGGB序列和原始的拜耳模式序列,又涉及两个分支,并且两个分支相互互补。经过提出的共对象,相互作用,融合和重建模块后,我们生成了相应的HR SRGB序列。实验结果表明,所提出的方法优于原始或SRGB输入的基准实体和合成视频SR方法。我们的代码和数据集可在https://github.com/zmzhang1998/real-rawvsr上找到。
translated by 谷歌翻译
在临床实践中,由于存储成本和隐私限制,通常需要进行分割网络在多个站点而不是合并集的顺序数据流上不断学习。但是,在持续学习过程中,现有方法通常在以前的网站上的网络记忆性或看不见的站点上的概括性中受到限制。本文旨在解决同步记忆性和概括性(SMG)的挑战性问题,并使用新颖的SMG学习框架同时提高以前和看不见的地点的性能。首先,我们提出一个同步梯度对准(SGA)目标,\ emph {不仅}通过对先前站点(称为重播缓冲区)的小型示例进行协调优化,从而促进网络的记忆力,\ emph {but emph {又增强了}的增强。通过促进模拟域移位下的现场不变性来概括。其次,为了简化SGA目标的优化,我们设计了一种双META算法,该算法将SGA目标近似为双元目标,以优化,而无需昂贵的计算开销。第三,为了有效的排练,我们全面考虑了重播缓冲区,以考虑额外的地点多样性以降低冗余。从六个机构中依次获得的前列腺MRI数据实验表明,我们的方法可以同时获得更高的记忆性和对最先进方法的可推广性。代码可在https://github.com/jingyzhang/smg-learning上找到。
translated by 谷歌翻译
Cone beam computed tomography (CBCT) has been widely used in clinical practice, especially in dental clinics, while the radiation dose of X-rays when capturing has been a long concern in CBCT imaging. Several research works have been proposed to reconstruct high-quality CBCT images from sparse-view 2D projections, but the current state-of-the-arts suffer from artifacts and the lack of fine details. In this paper, we propose SNAF for sparse-view CBCT reconstruction by learning the neural attenuation fields, where we have invented a novel view augmentation strategy to overcome the challenges introduced by insufficient data from sparse input views. Our approach achieves superior performance in terms of high reconstruction quality (30+ PSNR) with only 20 input views (25 times fewer than clinical collections), which outperforms the state-of-the-arts. We have further conducted comprehensive experiments and ablation analysis to validate the effectiveness of our approach.
translated by 谷歌翻译
通过推断培训数据中的潜在群体,最近的作品将不可用的注释不可用的情况引入不变性学习。通常,在大多数/少数族裔分裂下学习群体不变性在经验上被证明可以有效地改善许多数据集的分布泛化。但是,缺乏这些关于学习不变机制的理论保证。在本文中,我们揭示了在防止分类器依赖于培训集中的虚假相关性的情况下,现有小组不变学习方法的不足。具体来说,我们提出了两个关于判断这种充分性的标准。从理论和经验上讲,我们表明现有方法可以违反标准,因此未能推广出虚假的相关性转移。在此激励的情况下,我们设计了一种新的组不变学习方法,该方法构建具有统计独立性测试的组,并按组标签重新启动样本,以满足标准。关于合成数据和真实数据的实验表明,新方法在推广到虚假相关性转移方面显着优于现有的组不变学习方法。
translated by 谷歌翻译
AMR到文本是NLP社区中旨在从抽象含义表示(AMR)图生成句子的关键技术之一。自2013年提出AMR以来,有关AMR到文本的研究越来越普遍,因为AMR作为自然语言的高级语义描述,由于AMR具有独特的优势,因此作为结构化数据的重要分支变得越来越普遍。在本文中,我们简要介绍了AMR到文本。首先,我们介绍了此技术的当前情况,并指出了它的困难。其次,根据先前研究中使用的方法,我们根据它们各自的机制将它们大致分为五个类别和预先训练的语言模型(PLM)。特别是,我们详细介绍了基于神经网络的方法,并介绍了AMR到文本的最新进展,该方法指的是AMR重建,解码器优化等。此外,我们介绍了AMR-TOXT的基准和评估方法。最终,我们提供了当前技术和未来研究的前景的摘要。
translated by 谷歌翻译
在许多重要领域(例如计算机视觉,自然语言处理和推荐系统)中,使用深度神经网络(DNNS)的深度学习取得了很多成功。 DNN缺乏凸度已被视为许多优化方法的主要缺点,例如随机梯度下降,大大降低了神经网络应用的基因化。我们意识到,凸度在神经网络中是有意义的,并提出了指数多层神经网络(EMLP),这是一类参数凸神经网络(PCNN),在某些情况下可以在某些条件下进行有关神经网络的参数的凸面。实现。此外,我们提出了两层EGCN的凸度度量,并在凸度度变化时测试准确性。对于晚期实验,我们使用相同的体系结构来制作指数图卷积网络(EGCN),并在图形分类数据集上进行实验,其中我们的模型EGCN的性能优于图形卷积网络(GCN)和图形注意力网络(GAT GAT网络(GAT)(GAT) )。
translated by 谷歌翻译
近年来,图形嵌入技术导致了重大进展。然而,目前的技术不足以捕获网络的模式。本文提出了邻居2VEC,一种基于邻居的采样策略使用算法来学习节点的邻域表示,通过节点与其邻居之间的特征传播来收集结构信息的框架。我们声称,邻居2VEC是一种简单有效的方法来提高可扩展性以及图形嵌入的平等,并且它破坏了现有最先进的无监督技术的限制。我们对诸如OGBN-ARXIV,OGBN-产品,OGBN-蛋白,OGBL-PPA,OGBL-COLLAB和OGBL-CTITE2等网络的多个节点分类和链路预测任务进行实验。结果表明,邻居2VEC的表示提供了比节点分类任务中的竞争方法高达6.8%的平均精度,以及链路预测任务中的3.0%。邻居2VEC的表示能够在所有六个实验中优于所有基线方法和两个古典GNN模型。
translated by 谷歌翻译
病变检测是乳房X线照相术的计算机辅助诊断方案中的一个基本问题。如果培训数据在图像风格和质量方面,深度学习技术的进步对这项任务产生了显着的进展。特别地,图像样式的多样性可能主要归因于供应商因子。然而,尽可能多的供应商收集来自供应商的非常昂贵,并且有时对于实验室规模研究是不切实际的。因此,为了进一步将深度学习模型的泛化能力扩展到具有有限资源有限的各种供应商,开发了一种新的对比学习方案。具体地,骨干网络首先具有多种式和多视图无监督的自学习方案,用于将不变功能嵌入到各种供应商样式中。之后,用特定的监督学习重新校准骨干网络与病变检测的下游任务。所提出的方法是用来自四个供应商的乳房X线照片和一个看不见的公共数据集进行评估。实验结果表明,我们的方法可以有效地改善观察和看不见的域的检测性能,并且优于许多最先进的(SOTA)泛化方法。
translated by 谷歌翻译